Hyperparameter Tuning

释义 Definition

超参数调优/调参：在训练机器学习或深度学习模型时，系统地选择并调整超参数（如学习率、正则化强度、树的深度、批大小等），以提升模型在验证集/测试集上的表现与泛化能力。超参数通常不是从数据中直接“学出来”的，而是训练前或训练过程中由人或算法设定。（该短语在不同语境下也可泛指“模型调参”。）

发音 Pronunciation (IPA)

/ˌhaɪpərpəˈræmɪtər ˈtjuːnɪŋ/

例句 Examples

I spent the afternoon on hyperparameter tuning to improve accuracy.
我整个下午都在做超参数调优，以提高准确率。

After running a grid search for hyperparameter tuning, the model generalized better, but training time increased significantly.
在用网格搜索进行超参数调优后，模型的泛化效果更好，但训练时间也显著增加。

词源 Etymology

hyper- 源自希腊语，表示“超出、过度”；parameter 来自希腊语 *para-*（旁、附带）与 metron（测量），合起来指“用来衡量/刻画的量”；tuning 原指给乐器“调音”，引申为“把某个系统调到更合适的状态”。因此 hyperparameter tuning 字面就是“对超（模型外设定的）参数进行调整”。

相关词 Related Words

• Hyperparameter
• Parameter
• Optimization
• Grid Search
• Random Search
• Bayesian Optimization
• Cross-Validation
• Regularization
• Learning Rate
• Overfitting

文学与著作 Literary Works

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）——讨论训练技巧与超参数选择在深度学习中的作用。
• Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow（Aurélien Géron）——以大量实作示例讲解调参、网格搜索与交叉验证。
• Pattern Recognition and Machine Learning（Christopher M. Bishop）——在模型选择与概率建模语境中涉及超参数与其优化思路。
• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）——从统计学习角度讨论模型复杂度控制与参数/超参数选择。